Les fortifications de Claude de Lorraine attestent l’influence italienne par le dispositif des bastions en étoiles et à orillons et le développement d’un réseau de galeries souterraines qui adaptent la forteresse aux nouveaux principes d’attaque des places.

Déclassé par le Génie militaire en 1918, acquis en 1922 par un entrepreneur, les matériaux de la forteresse servent à divers chantiers de construction, notamment les grès d’Ardennes qui serviront à la construction de ponts à Bordeaux. Carrière de matériaux puis dépotoir, la forteresse est restaurée à partir de 1963 par Maurice Duton, fondateur en France des " Clubs du Vieux Manoir "

Sur un éperon de la rive gauche de l’Ourcq surplombant la ville, subsiste une grande enceinte flanquée du côté de l’attaque de quatre tours en amande. Les tours de la courtine sont au même niveau et leur chemin de ronde est sur mâchicoulis.

S’ouvrant entre les deux tours du milieu, la haute porte est surmontée d’un grand relief sculpté représentant le couronnement de la Vierge.

En 1371, le Valois est donné à Louis d’Orléans second fils de Charles V. Il devient maître du royaume pendant la folie de Charles VI. En 1393, il entreprend de reconstruire le château de La Ferté Milon en même temps que Pierrefonds. On voit dans la magnifique façade munie d’éperons, les préoccupations résidentielles du prince. En 1407, Louis d’Orléans est assassiné et les travaux sont interrompus.

Du château du cardinal, il subsiste le logis situé entre les ailes, échu à Louis, premier prince de Condé, le château est très remanié et transformé au long des XVIIe et XVIIIe siècles.

C’est à cette dernière époque que sera aménagé le grand salon de musique décoré par Servandoni.